【アップデート】Google Cloud Vertex AIでGeminiの実験モデルが利用可能になりました

Google Cloud の Vertex AI で、実験モデル「gemini-pro-experimental」と「gemini-flash-experimental」が利用可能になりました。本記事では、これらのモデルの特徴、使い方、そして実際に試してみた結果を紹介します。

#生成AI

#AI

#Vertex AI

#Google

#Gemini

Takaaki Kakei

2024.09.02

こんにちは、@TakaakiKakei です。

日本時間2024年8月28日頃に、Google Cloudから以下の実験モデルが公開されました。

gemini-pro-experimental
gemini-flash-experimental

これらのモデルはGoogle Cloudの Vertex AIでも利用可能になっています。

本記事では、これらの実験モデルの特徴や使い方について解説します。

概要

gemini-pro-experimental
gemini-flash-experimental

上記の実験モデルは以下の特徴を持っています。

以前の実験モデルから一般的なフィードバックベースの改善を実施
事前の通知なしに別のモデルに入れ替わる可能性がある
将来的に安定版モデルになる保証はない

執筆時点（2024年9月2日）では、Gemini 1.5 ProおよびGemini 1.5 Flashをベースに、2024年8月27日に更新されたモデルとなっています。

CleanShot 2024-09-02 at 14.54.51

料金

Gemini Experimental is not billed.

実験モデルの利用は課金されません。

プライバシー

Gemini Experimental does not log your input or output data, and we need your feedback to help improve our experimental models.

入出力データは記録されません。モデルの改善に役立てるため、フィードバックがあれば上記ページ内のフォームから送信することができます。

制限

Gemini Experimental has a quota of 10 queries per minute (QPM). This quota can't be increased.
Gemini Experimental doesn't let you configure advanced parameters or the region, which is set to us-central1.

1分あたり10クエリという制限があり、これは増やすことができません。
また、利用可能なリージョンはus-central1に限定されています。

やってみた

上記ページの手順で、Google Cloud の Vertex AI Studioで試すことができます。

CleanShot 2024-09-02 at 13.53.25

APIから呼び出すこともできます。Vertex AI Studioで対象のモデルを選択し、「コードを取得」ボタンを押すと、各プログラミング言語のサンプルコードが表示されるので便利です。

CleanShot 2024-09-02 at 13.54.49

上記は「gemini-flash-experimental」を使用する場合のサンプルコードキャプチャです。既存のモデルと同様の記述方法で、Model IDを変更するだけで利用できることが分かります。

考察など

Google AI StudioのプロダクトリードのLogan Kilpatrick氏によると、以下のような向上がされているとのことです。

「gemini-pro-experimental」(0827)は、コーディングと複雑なプロンプトでのパフォーマンスが大幅に向上
「gemini-flash-experimental」(0827)は、多くの内部ベンチマークでパフォーマンスが大幅に改善

クラスメソッド株式会社が提供する生成AI環境構築サービス「AI-Starter」で動かしてみました。

「gemini-flash-experimental」(0827)の応答速度は非常に印象的です。賢さについては「gemini-pro-experimental」(0827)とあわせて、もう少し使ってみて評価したいと思います。

制限の確認

AI-Starterの実装中に、前述の制限の確認を行いました。

1分あたり10クエリ

Gemini Experimental has a quota of 10 queries per minute (QPM). This quota can't be increased.

実際に試したところ、たしかに1分あたり約10クエリで制限に抵触しました。抵触すると、ClientErrorとともに、以下のようなエラーメッセージが返却されました。

err: {
	"type": "ClientError",
	"message": "[VertexAI.ClientError]: got status: 429 Too Many Requests. {\"error\":{\"code\":429,\"message\":\"Quota exceeded for aiplatform.googleapis.com/generate_content_requests_per_minute_per_project_per_base_model with base model: gemini-experimental. Please submit a quota increase request. https://cloud.google.com/vertex-ai/docs/generative-ai/quotas-genai.\",\"status\":\"RESOURCE_EXHAUSTED\"}}",
}

利用者に公開する際には、このエラーメッセージを適切に処理することが重要です。以下のクラスを使用して、エラーを処理することができます。